Towards a Statistical Understanding of Mixture-of-Experts
混合专家架构的统计理解：路由、稀疏激活与共享专家的风险界
🧭 MoE 统计学习理论 · 稀疏路由与共享专家 ★ 深度解读
Tsinghua University · East China Normal University · Beijing Institute of Mathematical Sciences and Applications
用局部化聚合视角统一分析 MoE，给出稠密/Top-K 路由与共享专家的 oracle 风险界
📌 工作参考价值（4 点）
- 在推荐排序模型用 MoE 时，把共享专家设计为全场景/全域公共塔，路由专家只学不同场景、人群或物品类的残差；可减少路由专家重复学习公共模式，降低有效复杂度并稳定训练。
- 做大容量稀疏 MoE 时不要只加专家数 M：理论显示近似误差随 M/K 的 1/d 次方下降，但路由估计代价约 M d/n log(M d n)，应结合线上数据量选择 M 和 K，避免专家数远超样本可支撑规模。
- Top-K 路由对边界敏感：高维稀疏特征下线性路由容易在决策边界附近频繁切换 active expert；可加入路由参数分离正则/边界稳定性约束，并监控 mini-batch 上 active set 稳定性。
- 可将论文中的“离散化候选路由 + 在线指数加权聚合”作为路由蒸馏或稳定化 baseline，不直接依赖端到端非凸联合优化，也能得到可解释的路由不确定性。